類似於堆疊法將多個基模型的預測結果作為特征輸入到一個元模型中從而得到最終的預測結果～

應用於任何類型的模型，但通常選擇性能相對獨立的模型，以確保模型之間的多樣性並可以嘗試不同的元模型和基模型組合來進一步優化模型融合的效果。

但但但Blending 與堆疊法的主要區別在於數據的分配方式。

準備數據：將訓練數據分成兩部分，一部分用於訓練多個基模型，另一部分用於訓練元模型。

• 第一層訓練：使用第一部分數據訓練多個基模型，得到它們的預測結果。
• 第一層預測：使用第二部分數據，將多個基模型的預測結果作為特征，以及相應的真實標簽，訓練一個元模型。
• 第二層訓練：使用所有的訓練數據，訓練多個基模型，得到它們的預測結果。
• 第二層預測：使用第一層的預測結果作為特征輸入到元模型中，得到最終的預測結果。

from sklearn.ensemble import RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加載數據
data = load_iris()
X = data.data
y = data.target

# 劃分訓練集和測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定義基模型
model1 = RandomForestClassifier()
model2 = LogisticRegression()
model3 = SVC(probability=True)

# 第一層訓練
model1.fit(X_train, y_train)
model2.fit(X_train, y_train)
model3.fit(X_train, y_train)

# 第一層預測
y_pred1 = model1.predict(X_test)
y_pred2 = model2.predict(X_test)
y_pred3 = model3.predict(X_test)

# 定義元模型
meta_model = LogisticRegression()

# 第二層訓練
meta_features = [y_pred1, y_pred2, y_pred3]
meta_features = np.array(meta_features).T
meta_model.fit(meta_features, y_test)

# 第二層預測
meta_features_test = [model1.predict(X_test), model2.predict(X_test), model3.predict(X_test)]
meta_features_test = np.array(meta_features_test).T
final_predictions = meta_model.predict(meta_features_test)

# 計算準確度
accuracy = accuracy_score(y_test, final_predictions)
print(f'Blending準確度: {accuracy}')

使用了隨機森林、邏輯回歸和支持向量機三個不同的分類器作為基模型，以及一個邏輯回歸模型作為元模型進行 Blending以計算了模型在測試集上的準確度～